查看原文
其他

边缘计算参考架构

纪光 物联网报告中心 2022-05-19

迎接行业智能时代 
(一)行业智能时代已来 
      全球已经掀起行业数字化转型的浪潮,数字化是基础,网络化是支撑,智能化是目标。通过对人、物、环境、过程等对象进行数字化产生数据,通过网络化实现数据的价值流动,以数据为生产要素,通过智能化为各行业创造经济和社会价值。智能化是以数据的智能分析为基础,从而实现智能决策和智能操作,并通过闭环实现业务流程的持续智能优化。 

     以大数据、机器学习、深度学习为代表的智能技术已经在语音识别、图像识别、用户画像等方面得到应用,在算法、模型、架构等方面取得了较大的进展。智能技术已经率先在制造、电力、交通、医疗、农业等行业开始应用,对智能技术提出了新的需求与挑战。行业智能时代已经来临。 
    行业智能分为1.0和2.0两个发展阶段: 
    1)行业智能1.0 
    行业智能1.0是面向市场线索、营销、采购、物流、售后等商业过程,将用户、应用和商业流程的行为和状态数字化,基于多维度数据分析和场景感知,建立行业的信息图谱,为行业用户提供个性化的资源配置和服务。
   行业智能1.0的快速发展得到了ICT创新技术的支撑,包括: 
 
泛在网络联接使能数据的快速流动;  
 
云计算按需提供低成本的基础设施服务应对业务负载变化;  
 
大数据挖掘、分析和管理海量数据,提升企业的商业决策能力;  
 
     算法+数据+算力,释放了行业智能的潜在价值。2)行业智能2.0 面向产品规划、设计、制造、运营等生产过程,产品、生产装备、工艺流程等已经逐步数字化和网络化,行业智能2.0已经具备了基础条件。这里所指的产品、装备具有广义的概念,既包括制造业所生产的产品和制造产线等,也包括能源、交通、农业、公共事业等行业提供服务时所依赖的资产,如电表、交通工具、农业机械、环境监测仪器等。 
行业智能2.0需要达成如下目标: 
 
提升生产与服务过程敏捷性和协作性  
 
提升资源共享和减少能耗  
 
降低生产运行和运营不确定性  
 
与行业智能1.0协作,建立生产、销售和服务的端到端行业智能。 

行业智能2.0时代需要行业发生四个关键转变: 

 

物理世界与数字世界从割裂转变为协作融合;  

 

运营决策从模糊的经验化转变为基于数字化、模型化的科学化;  

 

流程从割裂转变基于数据的全流程协同;  

 

从企业单边创新转变为基于产业生态的多边开放创新。 

(二)行业智能2.0面临的挑战 

从DIKW模型视角看,行业智能2.0面临了四大挑战: 

 

OT和ICT跨界协作挑战  

  OT(Operation Technology)与ICT(Information and Communication Technology)关注重点不同,OT关注物理和商业约束、人身安全,ICT关注商业约束、信息安全;OT与ICT在行业语言、知识背景、文化背景存在较大差异,相互理解困难;OT技术体系碎片化、专用化与标准化、开放性的ICT技术体系集成协作存在挑战困难;OT与ICT的融合协作也将带来安全方面的挑战。 

     OT与ICT的跨界协作需要建立物理世界和数字世界的联接与融合。 

 

信息难以有效流动与集成 

    目前业界有超过6种以上的工业实时以太网技术,超过40种工业总线,缺少统一的信息与服务定义模型。烟囱化的系统导致数据孤岛,使信息难以有效流动与交互。信息有效流动与集成是支持数据创新、服务创新的基础,需要建立数据全生命周期管理。 

 

知识模型化是巨大挑战 

    知识模型(Knowledge Model)主要解决知识的表示、组织与交互关系,知识的有序化以及知识处理模型,是将知识进行形式化和结构化的抽象。知识模型不是知识,是知识的抽象,以便于计算机理解与处理。知识模型输入存在信息不完整、不准确和不充分的挑战;知识模型处理的算法与建模还需持续改进与优化;知识模型输出的应用场景有限需要持续积累。知识模型化是高效、低成本实现行业智能的关键要素。 

 

产业链变长,增加了端到端协作集成挑战 

    需要物理世界和数字世界的产业链的协作,需要产品全生命周期的数据集成,需要价值链上的各产业角色建立起协作生态。这种多链条的协作与整合对数据端到端流动和全生命周期管理提出了更高的要求。 

(三)边缘计算使能行业智能2.0 

    面向行业智能2.0的挑战,边缘计算需要提供四个关键能力:1)建立物理世界和数字世界的联接与互动 通过数字孪生,在数字世界建立起对多样协议、海量设备和跨系统的物理资产的实时映像,了解事物或系统的状态,应对变化,改进操作和增加价值。在过去十年里,网络、计算和存储领域作为ICT产业的三大支柱,在技术可行性和经济可行性发生了指数性提升。网络领域变化:

    带宽提升千倍,而成本下降40倍;计算领域变化:

    计算芯片的成本下降60倍;存储领域变化:

    单硬盘容量增长万倍,而成本下降17倍。正是联接成本的下降、计算力的提升、海量的数据,使得数字孪生可以在行业智能2.0时代发挥重要作用。2)模型驱动的智能分布式架构与平台 在网络边缘侧的智能分布式架构与平台上,通过知识模型驱动智能化能力,实现了物自主化和物协作。 

智能资产:

     通过融合网络、计算、存储等ICT能力,具有自主化和协作化能力。智能网关:

    通过网络联接、协议转换等功能联接物理和数字世界,提供轻量化的联接管理、实时数据分析及应用管理功能。智能系统:

    基于多个分布式智能网关或服务器的协同构成智能系统,提供弹性扩展的网络、计算、存储能力。智能服务:

    基于模型驱动的统一服务框架, 面向系统运维人员、业务决策者、系统集成商、应用开发人员等多种角色,提供开发服务框架和部署运营服务框架。 

3)提供开发与部署运营的服务框架 

    开发服务框架主要包括方案的开发、集成、验证和发布;部署运营服务框架主要包括方案的业务编排、应用部署和应用市场。开发服务框架和部署运营服务框架需要紧密协同、无缝运作,支持方案快速高效开发、自动部署和集中运营。4)边缘计算与云计算的协同 边缘侧需要支持多种网络接口、协议与拓扑,业务实时处理与确定性时延,数据处理与分析,分布式智能和安全与隐私保护。云端难以满足上述要求,需要边缘计算与云计算在网络、业务、应用和智能方面进行协同。 

(四)边缘计算产业化当前进展 

   2015年边缘计算进入到Gartner的Hype Cycle(技术成熟曲线)。边缘计算已经掀起产业化的热潮,各类产业组织、商业组织在积极发起和推进边缘计算的研究、标准、产业化活动。具有代表性的活动包括: 

 

学术研究 

   2016年10月,由IEEE和ACM正式成立了IEEE/ACM Symposium on Edge Computing,组成了由学术界、产业界、政府(美国国家基金会)共同认可的学术论坛,对边缘计算的应用价值,研究方向开展了研究与讨论。 

 

标准化 

   2017年IEC发布了VEI (Vertical Edge Intelligence )白皮书,介绍了边缘计算对于制造业等垂直行业的重要价值。ISO/IEC JTC1 SC41成立了边缘计算研究小组,以推动边缘计算标准化工作。 

 

产业联盟 

    2016年11月华为技术有限公司、中国科学院沈阳自动化研究所、中国信息通信研究院、英特尔公司、ARM和软通动力信息技术(集团)有限公司联合倡议发起边缘计算产业联盟(Edge Computing Consortium,缩写为ECC)。全球性产业组织工业互联网联盟IIC 在2017年成立Edge Computing TG,也将定义边缘计算参考架构。 

(一)边缘计算概念 

    边缘计算是在靠近物或数据源头的网络边缘侧,融合网络、计算、存储、应用核心能力的分布式开放平台,就近提供边缘智能服务,满足行业数字化在敏捷联接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。它可以作为联接物理和数字世界的桥梁,使能智能资产、智能网关、智能系统和智能服务。 

(二)基本特点和属性 

 

联接性 

    联接性是边缘计算的基础。所联接物理对象的多样性及应用场景的多样性,需要边缘计算具备丰富的联接功能,如各种网络接口、网络协议、网络拓扑、网络部署与配置、网络管理与维护。联接性需要充分借鉴吸收网络领域先进研究成果,如TSN、SDN、NFV、Network as a Service、WLAN、NB-IoT、5G等,同时还要考虑与现有各种工业总线的互联互通。 

 

数据第一入口 

    边缘计算作为物理世界到数字世界的桥梁,是数据的第一入口,拥有大量、实时、完整的数据,可基于数据全生命周期进行管理与价值创造,将更好的支撑预测性维护、资产效率与管理等创新应用;同时,作为数据第一入口,边缘计算也面临数据实时性、确定性、多样性等挑战。 

 

约束性 

    边缘计算产品需适配工业现场相对恶劣的工作条件与运行环境,如防电磁、防尘、防爆、抗振动、抗电流/电压波动等。在工业互联场景下,对边缘计算设备的功耗、成本、空间也有较高的要求。边缘计算产品需要考虑通过软硬件集成与优化,以适配各种条件约束,支撑行业数字化多样性场景。


 

分布性 

    边缘计算实际部署天然具备分布式特征。这要求边缘计算支持分布式计算与存储、实现分布式资源的动态调度与统一管理、支撑分布式智能、具备分布式安全等能力。 

 

融合性 

    OT与ICT的融合是行业数字化转型的重要基础。边缘计算作为“OICT”融合与协同的关键承载,需要支持在联接、数据、管理、控制、应用、安全等方面的协同。 

(三)边缘计算CROSS价值 

 

联接的海量与异构(Connection) 

    网络是系统互联与数据聚合传输的基石。伴随联接设备数量的剧增,网络运维管理、灵活扩展和可靠性保障面临巨大挑战。同时,工业现场长期以来存在大量异构的总线联接,多种制式的工业以太网并存,如何兼容多种联接并且确保联接的实时可靠是必须要解决的现实问题。 

 

业务的实时性(Real-time) 

   工业系统检测、控制、执行的实时性高,部分场景实时性要求在10ms以内。如果数据分析和控制逻辑全部在云端实现,难以满足业务的实时性要求。 

 

数据的优化(Optimization) 

    当前工业现场存在大量的多样化异构数据,需要通过数据优化实现数据的聚合、数据的统一呈现与开放,以灵活高效地服务于边缘应用的智能。 

 

应用的智能性(Smart) 

   业务流程优化、运维自动化与业务创新驱动应用走向智能,边缘侧智能能够带来显著的效率与成本优势。以预测性维护为代表的智能化应用场景正推动行业向新的服务模式与商业模式转型。 

 

安全与隐私保护(Security) 

      安全跨越云计算和边缘计算之间的纵深,需要实施端到端防护。网络边缘侧由于更贴近万物互联的设备,访问控制与威胁防护的广度和难度因此大幅提升。边缘侧安全主要包含设备安全、网络安全、数据安全与应用安全。此外,关键数据的完整性、保密性,大量生产或人身隐私数据的保护也是安全领域需要重点关注的内容。 

(四)边缘计算与云计算协同 

     云计算适用于非实时、长周期数据、业务决策场景,而边缘计算在实时性、短周期数据、本地决策等场景方面有不可替代的作用。边缘计算与云计算是行业数字化转型的两大重要支撑,两者在网络、业务、应用、智能等方面的协同将有助于支撑行业数字化转型更广泛的场景与更大的价值创造。


三、边缘计算参考架构 

(一)模型驱动的参考架构 

     参考架构基于模型驱动的工程方法(Model-Driven Engineering MDE)进行设计。基于模型可以将物理和数字世界的知识模型化,从而实现: 

 

物理世界和数字世界的协作 

     对物理世界建立实时、系统的认知模型。在数字世界预测物理世界的状态、仿真物理世界的运行、简化物理世界的重构,然后驱动物理世界优化运行。能够将物理世界的全生命周期数据与商业过程数据建立协同,实现商业过程和生产过程的协作。 

 

跨产业的生态协作 

     基于模型化的方法,ICT和各垂直行业可以建立和复用本领域的知识模型体系。ICT行业通过水平化的边缘计算领域模型和参考架构屏蔽ICT技术复杂性,各垂直行业将行业Know-How进行模型化封装,实现ICT行业与垂直行业的有效协作。 

 

减少系统异构性,简化跨平台移植 

     系统与系统之间、子系统与子系统之间、服务与服务之间、新系统与旧系统之间等基于模型化的接口进行交互,简化集成。基于模型,可以实现软件接口与开发语言、平台、工具、协议等解耦,从而简化跨平台的移植。 

 

有效支撑系统的全生命周期活动 

     包括应用开发服务的全生命周期、部署运营服务的全生命周期、数据处理服务的全生命周期、安全服务的全生命周期等。ICT行业在网络、计算、存储等领域面临着架构极简、业务智能、降低CapEx和OpEx等挑战,正在通过虚拟化、SDN、模型驱动的业务编排、微服务等技术创新应对这些挑战。边缘计算作为OT和ICT融合的产业,其参考架构设计需要借鉴这些新技术和新理念。同时,边缘计算与云计算存在协同与差异,面临独特挑战,需要独特的创新技术。基于上述理念,ECC提出了如下的边缘计算参考架构2.0: 

从架构的横向层次来看,具有如下特点: 

 

     智能服务基于模型驱动的统一服务框架,通过开发服务框架和部署运营服务框架实现开发与部署智能协同,能够实现软件开发接口一致和部署运营自动化; 

 

    智能业务编排通过业务Fabric定义端到端业务流,实现业务敏捷; 

 

     联接计算CCF(Connectivity and Computing Fabric)实现架构极简,对业务屏蔽边缘智能分布式架构的复杂性;实现OICT基础设施部署运营自动化和可视化,支撑边缘计算资源服务与行业业务需求的智能协同; 

 

     智能ECN(Edge Computing Node)兼容多种异构联接、支持实时处理与响应、提供软硬一体化安全等;边缘计算参考架构在每层提供了模型化的开放接口,实现了架构的全层次开放;边缘计算参考架构通过纵向管理服务、数据全生命周期服务、安全服务,实现业务的全流程、全生命周期的智能服务。 

(二)多视图呈现 

     以 ISO/IEC/IEEE 42010:2011 架构定义国际标准为指导,将产业对边缘计算的关注点进行系统性的分析,并提出了解决措施和框架,通过如下三类视图来展示边缘计算参考架构: 

 

概念视图 

    阐述边缘计算的领域模型和关键概念。 

 

功能设计视图 

    阐述横向的开发服务框架、部署运营框架业务Fabric、联接计算Fabric和ECN,纵向的跨层次开放服务、管理服务、数据全生命周期服务、安全服务的功能与设计思路。 

 

部署视图 

    阐述系统的部署过程和典型的部署场景。同时,架构需要满足跨行业的典型非功能性需求,包括实时性、确定性、可靠性等。为此,在功能视图、部署视图给出了相关技术方案推荐。 

(三)概念视图 

1、边缘计算节点、开发框架与产品实现 

    智能资产、智能系统、智能网关具有数字化、网络化、智能化的共性特点,都提供网络、计算、存储等ICT资源,可以在逻辑上统一抽向为边缘计算节点(Edge Computing Node ECN)。根据ECN节点的典型应用场景,系统定义了四类ECN开发框架。每类开发框架提供了匹配场景的操作系统、功能模块、集成开发环境等。基于四类ECN开发框架,结合ECN节点所需要的特定硬件平台,可以构建六类产品实现。下图对上述过程做了概括总结。 

 

ECN节点典型功能包括: 

 

总线协议适配 

 

实时联接 

 

实时流式数据分析 

 

时序数据存取 

 

策略执行 

 

设备即插即用 

 

资源管理 

   ECN四类开发框架包括: 

 

实时计算系统框架 

    面向数字化的物理资产,满足应用实时性等需求; 

 

轻量计算系统框架 

    面向资源受限的感知终端,满足低功耗等需求; 

 

智能网关系统框架 

    支持多种网络接口、总线协议与网络拓扑,实现边缘本地系统互联并提供本地计算和存储能力,能够和云端系统协同; 

 

智能分布式系统框架 

     基于分布式架构,能够在边缘侧弹性扩展网络、计算和存储等能力,支持资源面向业务的动态管理和调度,能够和云端系统协同。 

2、边缘计算领域模型 

    边缘计算领域模型是从边缘计算的ICT视角进行模型定义,包括: 

 

设计阶段模型 

     定义ECN节点的标识、属性、功能、性能、派生继承关系等,为部署与运行阶段提供价值信息。 

 

部署阶段模型 

     主要包括业务策略、物理拓扑等模型。其中,业务策略模型是用业务语言,而不是机器语言来描述业务规则与约束,实现业务驱动边缘计算基础设施。

    业务策略模型可描述,可灵活复用和变更,使能业务敏捷。 

 

运行阶段模型 

     主要包括联接计算Fabric模型、运行负载模型等。基于这些模型可以监视和优化系统运行状态,实现负载在边缘分布式架构上的部署优化等。通过模型驱动的统一服务框架能够实现边缘计算领域模型和垂直行业领域模型的相互映射和统一管理,从而复用垂直行业的领域模型(如OPC UA及其生态),实现边缘计算参考架构和行业平台、行业应用的易集成。 

(四)功能设计视图 

1)

基础资源层 包括网络、计算和存储三个基础模块。 

 

网络 

    SDN(Software-Defined Networking)逐步成为网络技术发展的主流,其设计理念是将网络的控制平面与数据转发平面进行分离,并实现可编程化控制。

    将SDN应用于边缘计算,可支持百万级海量网络设备的接入与灵活扩展,提供高效低成本的自动化运维管理,实现网络与安全的策略协同与融合。网络联接需要满足传输时间确定性与数据完整性。国际标准组织IEEE制订了TSN(Time-SensitiveNetworking)系列标准,针对实时优先级、时钟等关键服务定义了统一的技术标准,是工业以太联接未来的发展方向。 

计算

     异构计算HC(Heterogeneous Computing)是边缘侧关键的计算硬件架构。近年来,虽然摩尔定律仍然推动芯片技术不断取得突破,但物联网应用的普及带来了信息量爆炸式增长,而AI技术应用增加了计算的复杂度,这些对计算能力都提出了更高的要求。计算要处理的数据种类也日趋多样化,边缘设备既要处理结构化数据,同时也要处理非结构化的数据。同时,随着ECN节点包含了更多种类和数量的计算单元,成本成为了关注点。为此,业界提出将不同类型指令集和不同体系架构的计算单元协同起来的新计算架构,即异构计算,以充分发挥各种计算单元的优势,实现性能、成本、功耗、可移植性等方面的均衡。同时,以深度学习为代表的新一代AI在边缘侧应用还需要新的技术优化。当前,即使在推理阶段对一副图片的处理也往往需要超过10亿次的计算量,标准的深度学习算法显然是不适合边缘侧的嵌入式计算环境。业界正在进行的优化方向包括自顶向下的优化,即把训练完的深度学习模型进行压缩来降低推理阶段的计算负载;同时,也在尝试自底向上的优化,即重新定义一套面向边缘侧嵌入系统环境的算法架构。 

 

存储 

    数字世界需要实时跟踪物理世界动态变化,并按照时间序列存储完整的历史数据。新一代时序数据库TSDB(Time Series Database)是存放时序数据(包含数据的时间戳等信息)的数据库,并且需要支持时序数据的快速写入、持久化、多纬度的聚合查询等基本功能。为了确保数据的准确和完整性,时序数据库需要不断插入新的时序数据,而不是更新原有数据。面临了如下的典型挑战: 

 

    时序数据写入:支持每秒钟上千万上亿数据点的写入。 

 

    时序数据读取:支持在秒级对上亿数据的分组聚合运算。 

 

    成本敏感:由海量数据存储带来的是成本问题。如何更低成本地存储这些数据是时序数据库需要解决的重中之重。2)虚拟化层 虚拟化技术降低了系统开发和部署成本,已经开始从服务器应用场景向嵌入式系统应用场景渗透。典型的虚拟化技术包括裸金属(Bare Metal)架构和主机(Host)架构,前者是虚拟化层的虚拟机管理器(Hypervisor)等功能直接运行在系统硬件平台上,然后再运行操作系统和虚拟化功能。后者是虚拟化层功能运行在主机操作系统上。前者有更好的实时性,智能资产和智能网关一般采用该方式。 

3)EVF(Edge Virtualization Function)层 EVF是将功能软件化和服务化,并且与专有的硬件平台解耦。基于虚拟化技术,在同一个硬件平台上,可以纵向将硬件、系统和特定的EVF等按照业务进行组合,虚拟化出多个独立的业务区间并彼此隔离。ECN的业务可扩展性能够降低CapEx并延长系统的生命周期。

     EVF可以灵活组合与编排,能够在不同硬件平台、不同设备上灵活迁移和弹性扩展,实现资源的动态调度和业务敏捷。EVF层提供如下可裁剪的多个基础服务: 

 

分布式的联接计算Fabric服务; 

 

OPC UA服务; 

 

实时流式数据分析服务; 

 

时序数据库服务; 

 

策略执行服务; 

 

安全服务。ECN关键技术: 

     1)软件定义网络(SDN) SDN采用与传统网络截然不同的控制架构,将网络控制平面和转发平面分离,采用集中控制替代原有分布式控制,并通过开放和可编程接口实现“软件定义”。SDN不仅是新技术,而且变革了网络建设和运营的方式:从应用的角度构建网络,用IT的手段运营网络。SDN架构包括控制器、南/北向接口、以及应用层的各类应用和基础设施层的各种网元。其中最重要的是SDN控制器,它实现对基础设施层的转发策略的配置和管理,支持基于多种流表的转发控制。SDN对边缘计算的独特价值: 

 

支持海量联接 

    支持百万级海量网络设备的接入与灵活扩展,能够集成和适配多厂商网络设备的管理。 

 

模型驱动的策略自动化 

     提供灵活的网络自动化与管理框架,能够将基础设施和业务发放功能服务化,实现智能资产、智能网关、智能系统的即插即用,大大降低对网络管理人员的技能要求。 

 

端到端的服务保障 

    对端到端的GRE、L2TP、IPSec、Vxlan等隧道服务进行业务发放,优化Qos调度,满足端到端带宽、时延等关键需求,实现边缘与云的业务协同。 

 

架构开放 

      将集中的网络控制以及网络状态信息开放给智能应用,应用可以灵活快速地驱动网络资源的调度。当前,边缘计算SDN技术已经成功应用于智能楼宇、智慧电梯等多个行业场景。 

    2)低时延网络(TSN) 标准以太网技术已经广泛应用,具有传输速率高、拓扑灵活、传输距离远、成本有效等优点。同时,以太网技术由于传统Qos机制约束、CSMA/CD冲突检测机制约束等无法保证实时性、确定性等行业关键需求。业界对标准以太网技术进行了优化,并提出了多种工业实时以太网技术的商业实现,多种商业实现并存的格局给互联互操作带来了障碍和挑战。 

     近年,IEEE802.1定义了TSN(Time Sensitive Network)技术标准,旨在推动实时以太网的标准化和互通,最终实现OT和ICT采用“一张网”,并带来如下价值: 

 

确定性:μs级时延、低于500ns级抖动; 

 

接口带宽大于1Gbps,满足工业机器视觉等场景的大带宽需求; 

 

通过多路径或冗余路径实现可靠的数据传输; 

 

      与SDN技术相结合,实现对TSN网络和非TSN网络的统一调度管理。TSN设计理念是在标准的以太网物理层之上,在MAC层提供统一的低时延队列调度机制、资源预留机制、时钟同步机制、路径控制机制、配置管理模型等,能实现与标准以太网的互联互通。当前,TSN已经建立起良好的产业协作生态,包括:IEEE负责标准制定,Avnu Alliance负责互通认证,以ECC和IIC为代表的产业组织正在通过Testbed等活动进行产业示范和推广。

    3)异构计算(HC) 异构计算架构旨在协同和发挥各种计算单元的独特优势:CPU擅长对系统进行控制、任务分解、调度;GPU具有强大的浮点和向量计算能力,擅长矩阵和矢量运算等并行计算;FPGA具有硬件可编程和低延时等优势;ASIC具有功耗低、性能高,成本有效等优势。异构计算目标是整合同一个平台上分立的处理单元使之成为紧密协同的整体来协同处理不同类型的计算负荷。

   同时通过开放统一的编程接口,实现软件跨多种平台。 

异构计算架构的关键技术包括: 

 

    内存处理优化 传统架构下,不同计算单元间传递数据需要数据复制,不仅占用处理器资源,还同时占据了大量的系统总线带宽。异构计算让多个计算单元实现内存统一寻址,任何处理单元的数据可以轻易地被其它处理单元所访问,不必将数据复制一份到对方的内存区域中,大大提高了系统性能。 

 

任务调度优化 各种计算单元从过去主从关系变为平等的伙伴关系,可以根据任务情况,动态地确定最适合的计算单元来运行工作负载。涉及了调度算法、指令集、编译器等一系列的架构优化。 

 

集成工具链 

     为应用程序员提供了硬件、软件接口、基本的运行时环境,封装并隐藏了内存一致性,任务调度管理等复杂的底层细节,支持架构参数优化和任务调度优化,将应用移植工作量最小化。面向AI应用,开放集成多种AI训练和推理平台,兼容多厂商计算单元。目前异构计算在芯片设计和边缘计算平台设计上都有应用。在芯片方面,整合了CPU+GPU资源,能够实现视频编解码加速。在计算平台方面,利用CPU+FPGA(或GPU)实现人工智能的功能已经被应用于智能交通以及智能机器人等领域。 

    4)时序数据库 (TSDB) 海量数据的高效写入、查询及分布式存储是时序数据库面临的关键挑战。其关键技术包括: 

 

分布式存储 

    分布式存储首先要考虑的是如何将数据分布到多台机器上面,也就是分片问题。

     分片可以基于时间戳+Tag+分级。将一定时间范围内的相同Tag(一个或多个字段相同的数据)并符合一定分级条件的数据作为相同分片存在相同机器上。存储前可以对数据进行压缩处理,既提高数据写入效率,又节省存储空间。 

 

分级存储 

     时序数据的时间戳是一种非常合适的分级依据,越近期的数据查询得越多,是热数据;越久以前的数据查询得越少,是冷数据。同时,分级往往结合存储成本等因素,将每个级别的数据存储在不同成本的存储介质(内存,HDD,SSD)上。 

 

基于分片的查询优化 

      查询时,根据查询条件查询所有的数据分片,所有的分片按照时间戳合并形成原始数据结果,当查询条件包含聚合运算时,会根据时间采样窗口对数据进行聚合运算,最后返回运算结果。除了商业版本外,业界已经有大量的开源时序数据库,如:opentsdb,kairosDB,influxdb等。数据库除了需要满足上述性能挑战外,很重要的是提供行业数据建模与可视化工具,支持与行业应用系统的快速集成。 

2、

 

业务Fabric 

      业务Fabric是模型化的工作流,由多种类型的功能服务按照一定逻辑关系组成和协作,实现特定的业务需求,是对业务需求的数字化表示。服务的模型,包括服务名称、执行或提供什么样的功能,服务间的嵌套、依赖、继承等关系,每个服务的输入与输出,以及Qos、安全、可靠性等服务约束。服务的类型不仅包括边缘计算提供的通用服务,还包括垂直行业所定义的特定行业服务。业务Fabric的主要价值包括: 

 

     聚集业务流程,屏蔽技术细节,帮助业务部门、开发部门、部署运营部门等建立有效合作; 

 

    和OICT基础设施、硬件平台等解耦,实现跨技术平台,支撑业务敏捷; 

 

    作为业务描述性模型,可继承、可复用,能够实现快速建模。业务Fabric功能包括: 

 

    定义工作流和工作负载; 

 

可视化呈现; 

 

语义检查和策略冲突检查; 

 

业务Fabric、服务等模型的版本管理。 

3、

 

联接计算Fabric 

联接计算Fabric是一个虚拟化的联接和计算服务层,主要价值包括: 

 

屏蔽ECN节点异构性; 

 

降低智能分布式架构在数据一致性、容错处理等方面的复杂性; 

 

资源服务的发现、统一管理和编排; 

 

支持ECN节点间的数据和知识模型的共享; 

 

支持业务负载的动态调度和优化; 

 

支持分布式的决策和策略执行。 

联接计算Fabric的主要功能包括:a.资源感知 

 

     可以感知每个ECN节点的ICT资源状态(如网络联接的质量,CPU占有率等)、性能规格(如实时性)、位置等物理信息等,为计算负载在边缘侧的分配和调度提供了关键输入。

b. EVF服务感知 

 

     它能感知系统提供了哪些EVF服务,这些服务分布在哪些ECN节点上,每个EVF服务在服务哪些计算任务、任务执行的状态等。从而为计算任务的调度提供输入。

c. 计算任务调度 

 

既支持主动的任务调度,能够根据资源状态、服务感知、ECN节点间的联接带宽、计算任务的SLA要求等,自动化地在将任务拆分成多个子任务并分配到多个ECN节点上协同计算。也支持把计算资源、服务资源等通过开放接口对业务开放,业务能够主动地控制计算任务的调度过程。 

d. 数据协同 

 

ECN节点对南向的协议适配,ECN节点之间的东西联接使用统一的数据联接协议。通过数据协同,节点间可以相互交互数据、知识模型等。ECN节点需要知道特定的数据需要在哪些节点间共享,共享的方式包括简单的广播、Pub-Sub模式等。

e. 多视图呈现 

 

能够按照租户、业务逻辑等进行业务呈现,屏蔽物理联接的复杂性。例如,每个租户只需要看到他所运行的计算任务,这些任务在计算联接Fabric上的分布情况。同时,也可以灵活地按需叠加所需要的智能资产、智能网关、智能系统的位置等物理信息。

f. 服务接口开放 

通过开放接口提供计算任务请求、资源状态反馈、任务执行状态反馈等,屏蔽智能资产、智能网关和智能系统的物理差异。 

4、开发服务框架(智能服务) 

     通过集成开发平台和工具链集成边缘计算模型库和垂直行业模型库,提供模型与应用的开发、集成、仿真、验证和发布的全生命周期服务。支持如下的关键服务: 

a.模型化开发服务 

 

      定义架构、功能需求、接口需求等模型定义,支持模型和业务流程的可视化呈现,支持基于模型生成多语言的代码;支持边缘计算领域模型与垂直行业领域模型的集成、映射等;支持模型库版本管理。 

b.仿真服务 

 

     支持ECN节点的软硬件仿真,仿真要能够模拟目标应用场景的ECN节点规格(如内存,存储空间等)。系统需要支持组件细粒度化、组件可裁剪和重新打包(系统重置),以匹配ECN节点规格。 

 

    基于仿真节点,能够进行面向应用场景的组网和系统搭建,并将开发的模型和应用在仿真环境下进行低成本、自动化的功能验证。c.集成发布服务 

 

     从基线库获得发布版本,调用部署运营服务,将模型与应用部署到实际的ECN节点。

 

5、部署运营服务框架(智能服务) 

    包括业务编排、应用部署(略)和应用市场三个关键服务。1)业务编排 业务编排服务,一般基于三层架构: 

 

业务编排器 

     编排器负责定义业务Fabric,一般部署在云端(公私云)或本地(智能系统上)。

    编排器提供可视化的工作流定义工具,支持CRUD操作。编排器能够基于和复用开发服务框架已经定义好的服务模板、策略模板进行编排。在下发业务Fabric给策略控制器前,能够完成工作流的语义检查和策略冲突检测等。 

 

策略控制器 

      为了保证业务调度和控制的实时性,通过在网络边缘侧部署策略控制器,实现本地就近控制。

     策略控制器按照一定策略,结合本地的联接计算Fabric所支持的服务与能力,将业务Fabric所定义的业务流分配给本地某个联接计算Fabric进行调度执行。考虑到边缘计算领域和垂直行业领域需要不同的领域知识和系统实现,控制器的设计和部署往往分域部署。

     由边缘计算领域控制器负责对安全、数据分析等边缘计算服务进行部署。涉及到垂直行业业务逻辑的部分,由垂直行业领域的控制器进行分发调度。 

 

策略执行器 

     在每个ECN节点内置策略执行器模块,负责将策略翻译成本设备命令并在本地调度执行。

    ECN节点既支持由控制器推送策略,也可以主动向控制器请求策略。策略可以只关注高层次业务需求,而不对ECN节点进行细粒度控制,从而保证ECN节点的自主性和本地事件响应处理的实时性。 

    2)应用市场服务 应用市场服务可以很好地联接需求方和供给方,将企业单边创新模式转变为基于产业生态的多边开放创新。

     供给方可以通过App封装行业Know-How并通过应用注册进行快捷发布,需求方可以通过应用目录方便地找到匹配需求的方案并进行应用订阅。应用市场服务支持多样化的App,包括基于工业知识构建的机理模型、基于数据分析

方法构建的算法模型、可继承和复用的业务Fabric模型、支持特定功能(如故障诊断)的应用等。这些App既可以被最终用户直接使用,也可以通过基于模型的开放接口进行应用二次开发。

 

6、管理服务 

    支持面向终端设备、网络设备、服务器、存储、数据、业务与应用的隔离、安全、分布式架构的统一管理服务。支持面向工程设计、集成设计、系统部署、业务与数据迁移、集成测试、集成验证与验收等全生命周期。 

7、数据全生命周期服务 

   1)边缘数据特点 边缘数据是在网络边缘侧产生的,包括机器运行数据、环境数据以及信息系统数据等,具有高通量(瞬间流量大)、流动速度快、类型多样、关联性强、分析处理实时性要求高等特点。与互联网等商业大数据应用相比,边缘数据的智能分析有如下特点和区别: 

 

因果 VS 关联 

     边缘数据主要面向智能资产,这些系统运行一般有明确的输入输出的因果关系,而商业大数据关注的是数据关联关系。 

 

高可靠性 VS 较低可靠 

     制造业、交通等行业对模型的准确度和可靠性要求高,否则会带来财产损失甚至人身伤亡。而商业大数据分析对可靠性要一般较低。边缘数据的分析要求结果可解释,所以黑盒化的深度学习方式在一些应用场景受到限制。将传统的机理模型和数据分析方法相结合是智能分析的创新和应用方向。 

 

小数据 VS 大数据 

      机床,车辆等资产是人设计制造,其运行过程中的多数数据是可以预知的,其异常、边界等情况下的数据才真正有价值。商业大数据分析则一般需要海量的数据。 

     2)数据全生命周期服务 可以通过业务Fabric定义数据全生命周期的业务逻辑,包括指定数据分析算法等,通过联接计算Fabric优化数据服务的部署和运行,满足业务实时性等要求。数据全生命周期服务包括了: 

 

数据预处理 

    对原始数据的过滤、清洗、聚合、质量优化(剔除坏数据等)和语义解析。 

 

数据分析 

     基于流式数据分析对数据即来即处理,可以快速响应事件和不断变化的业务条件与需求,加速对数据执行持续分析。提供常用的统计模型库,支持统计模型、机理模型等模型算法的集成。支持轻量的深度学习等模型训练方法。 

 

数据分发和策略执行 

     基于预定义规则和数据分析结果,在本地进行策略执行。或者将数据转发给云端或其他ECN节点进行处理。 

 

数据可视化和存储 

     采用时序数据库等技术可以大大节省存储空间并满足高速的读写操作需求。利用AR、VR等新一代交互技术逼真呈现。

 

8、

 

安全服务 

    边缘计算架构的安全设计与实现首先需要考虑: 

 

安全功能适配边缘计算的特定架构; 

 

安全功能能够灵活部署与扩展; 

 

能够在一定时间内持续抵抗攻击; 

 

能够容忍一定程度和范围内的功能失效,但基础功能始终保持运行; 

 

整个系统能够从失败中快速完全恢复。 

同时,需要考虑边缘计算应用场景的独特性: 

 

安全功能轻量化,能够部署在各类硬件资源受限的IoT设备中; 

 

海量异构的设备接入,传统的基于信任的安全模型不再适用,需要按照最小授权原则重新设计安全模型(白名单); 

 

在关键的节点设备(例如智能网关)实现网络与域的隔离,对安全攻击和风险范围进行控制,避免攻击由点到面扩展; 

 

    安全和实时态势感知无缝嵌入到整个边缘计算架构中,实现持续的检测与响应。

    尽可能依赖自动化实现,但是人工干预时常也需要发挥作用。

    安全的设计需要覆盖边缘计算架构的各个层级,不同层级需要不同的安全特性。同时,还需要有统一的态势感知、安全管理与编排、统一的身份认证与管理,以及统一的安全运维体系,才能最大限度地保障整个架构安全与可靠。 

节点安全:

     需要提供基础的ECN安全、端点安全、软件加固和安全配置、安全与可靠远程升级、轻量级可信计算、硬件Safety开关等功能。安全与可靠的远程升级能够及时完成漏洞和补丁的修复,同时避免升级后系统失效(也就是常说的“变砖”)。轻量级可信计算用于计算(CPU)和存储资源受限的简单物联网设备,解决最基本的可信问题。网络(Fabric)安全:

      包含防火墙(Firewall)、入侵检测和防护(IPS/IDS)、DDoS防护、VPN/TLS功能,也包括一些传输协议的安全功能重用(例如REST协议的安全功能)。

    其中DDoS防护在物联网和边缘计算中特别重要,近年来,越来越多的物联网攻击是DDoS攻击,攻击者通过控制安全性较弱的物联网设备(例如采用固定密码的摄像头)来集中攻击特定目标。数据安全:

     包含数据加密、数据隔离和销毁、数据防篡改、隐私保护(数据脱敏)、数

       据访问控制和数据防泄漏等。其中数据加密,包含数据在传输过程中的加密、在存储时的加密;边缘计算的数据防泄漏与传统的数据防泄漏有所不同,边缘计算的设备往往是分布式部署,需要特别考虑这些设备被盗以后,相关的数据即使被获得也不会泄露。 

应用安全:

     主要包含白名单、应用安全审计、恶意代码防范、WAF(Web应用防火墙)、沙箱等安全功能。其中,白名单是边缘计算架构中非常重要的功能,由于终端的海量异构接入,业务种类繁多,传统的IT安全授权模式不再适用,往往需要采用最小授权的安全模型(例如白名单功能)管理应用及访问权限。 

安全态势感知、安全管理与编排:

      网络边缘侧接入的终端类型广泛,数量巨大,承载的业务繁杂,被动的安全防御往往不能起到良好的效果。因此,需要采用更加积极主动的安全防御手段,包括基于大数据的态势感知和高级威胁检测,以及统一的全网安全策略执行和主动防护,从而更加快速响应和防护。再结合完善的运维监控和应急响应机制,则能够最大限度保障边缘计算系统的安全、可用、可信。身份和认证管理:

        身份和认证管理功能遍布所有的功能层级。但是在网络边缘侧比较特殊的是,海量的设备接入,传统的集中式安全认证面临巨大的性能压力,特别是在设备集中上线时认证系统往往不堪重负。在必要的时候,去中心化、分布式的认证方式和证书管理成为新的技术选择。 

(五)部署视图 

     系统主要提供两种典型的部署模型:三层模型和四层模型。 

1)三层部署模型 主要面向业务部署到一个或多个分散地域,且每个区域的业务流量规模较小的场景。 

     典型的场景包括:智慧路灯、智能电梯、智慧环保等场景。智能资产完成本地处理后,多种或多个业务数据沿着南北向汇聚到智能网关。

     智能网关除了提供智能资产接入、智能资产本地管理、总线协议转换等网络功能外,还提供实时流式数据分析、安全保护、小规模数据存储等功能。网关将实时业务需求在本地完成处理,同时将非实时数据聚合后送到云端处理。 

2)四层部署模型 

   主要面向业务部署集中,业务流量规模较大的场景。 

典型的场景包括:

    智能视频分析、分布式电网、智能制造等场景。与三层部署场景最典型的区别是:边缘侧数据量大,本地应用系统多,需要大量的计算、存储资源。智能资产和智能网关完成本地最实时的处理后,将数据汇聚到本地分布式智能系统进行二次处理。

    这些分布式ECN节点通过东西向联接进行数据和知识的交换,支持计算、存储资源的横向弹性扩展,能够完成本地的实时决策和实时优化操作。

(二)边缘计算的商业实践 

1、从理论到实践 

    边缘计算经历了从理论到实践的快速发展,架构与技术的核心理念已经在实践落地: 

 

异构计算硬件平台:x86/ARM/FPGA; 

 

开放分布式软件平台:SDN,流式数据分析,容器/VM,应用生命周期管理,安全策略与机制; 

 

可体验的开发测试云:开发测试环境与工具链,模拟仿真环境,开发者社区,代码库。 

2、从水平到垂直 

    边缘计算通过与行业使用场景和相关应用相结合,依据不同行业的特点和需求,完成了从水平解决方案平台到垂直行业的落地,在不同行业构建了众多创新的垂直行业解决方案。1)梯联网 目前,全球有超过1500万部电梯在运行,每天乘电梯的人数达十亿人次。梯联网基于边缘计算,在边缘侧实时采集电梯的运行数据,进行数据预处理,并协同云端大数据分析平台,全面监控电梯各部件的“健康指标”;通过电梯预测性维护,提高维护效率,降低维护成本,降低最终客户OPEX;通过提供增值服务,支撑电梯制造商向服务商进行转型,打造新的利润增长点。 

 

 

基于软件定义网络(SDN)实现百万数量的电梯管理,实现网络可视化、自动化运维;低功耗、工业级智能网关满足电梯复杂环境网络接入需求; 

 

容器承载多个电梯监控App,支持App生命周期管理; 

 

数据分析模块对电梯运行状态数据进行本地实时分析和响应;  

 

提供四重安全防护:芯片级TPM加密,操作系统嵌入安全模块,网络联接通道采用IPSec加密,SDN

 

控制器提供防护方案。 

2)智慧水务 

     城市供水系统是城市发展的基础实施,也是构筑安全城市、智慧城市的重要环节。智慧水务基于边缘计算平台,利用先进传感技术、网络技术、计算技术、控制技术、智能技术,对二次供水等设备全面感知,集成城市供水设备、信息系统和业务流程,实现多个系统间大范围、大容量数据的交互,从而进行全程控制,实现故障自诊断、可预测性维护,降低能耗,保证用水安全。 

边缘计算在智慧水务解决方案中的核心价值: 

 

智能网关与云端平台协同,获取数据分析模型,实现边缘侧实时数据分析并依据策略响应处理; 

 

支持分布式边缘设备数量的弹性扩容; 

 

支持多App生命周期管理,灵活扩展新业务; 

 

硬件平台支持工业级设计,多接口,多协议。 

3)智能楼宇

    智能楼宇利用先进传感技术、网络技术、计算技术、控制技术、智能技术、安全技术,通过对楼宇传感设备的数据采集、监控与分析,实现状态感知、故障告警和可预测性维护,

    通过多系统协同,实现自动控制和可视化运营,打造智能、绿色、高效的办公与生活环境。 

边缘计算在智能楼宇解决方案中的核心价值: 

 

智能网关支持丰富的接口和功能特性,简化联接,适配楼宇多样化接入场景; 

 

平台支持实时快速响应,支持1000+行业协议,无缝接入不同类型设备; 

 

网关、控制器、平台三层开放,应用开发简单高效; 

 

多级安全机制:安全组件保障容器安全,VPN通道确保数据传输安全,平台授权体系确保系统安全。

4)智慧照明 

     智慧照明通过对照明设备全面感知,实现路灯的远程、实时、自适应控制,实现故障自诊断、可预测性维护,同时,以灯杆为无线网络的接入节点,覆盖周边垃圾桶监测、停车传感器等设备,构建可扩展的城市物联网骨架,推动照明物联网向城市物联网演进。 

边缘计算在智慧照明解决方案中的核心价值: 

 

智能网关和路灯控制器支持多级离线控制模式,确保系统可靠; 

 

边缘智能支持多维度分析,实现实时光控调节,减少能耗,提高体验; 

 

基于6LoWPAN 无线 Mesh的可靠无线通信网络,确保数据实时传送和可靠控制; 

 

支持基于GIS的可视化管理和主动式维护,降低路灯的维护和管理成本。

5) 智能制造系统中虚拟化和业务编排应用 

    智能制造系统中的虚拟化和业务编排是将生产设备等资源通过智能网关或智能资产连接到智能分布式系统中,实现生产设备在数字世界的虚拟化和模型化,通过边缘计算和云计算的协同完成网络资源、生产设备、生产工艺的智能编排,使能制造过程的自感知、自决策、自执行和可预测性维护等。 

边缘计算在智能制造系统虚拟化和业务编排上的核心价值: 

 

   通过对边缘侧设备的实时联接和感知,建立独立、可重构的数字设备模型(Digital Twins),使能生产资源的虚拟化、建模、关联、检索; 

 

    通过SDN技术实现网络资源自适应分配,为可重构设备提供有效信息传递手段; 

 

   通过业务Fabric定义加工、装配环节的任务、工艺流程、路径规划与控制参数,实现业务策略的快速部署和多品种的快速加工。 


3、从需求到实践,从实践到需求 

关键需求与技术,参考架构与平台,测试床与商业案例是边缘计算产业发展的三部曲,三者互相协同,互相促进,不断迭代,持续提升边缘计算竞争力和产业适配能力: 

 

    通过提炼场景化需求和识别关键技术支撑构建边缘计算参考架构,使能产业界基于统一框架和语言开展高效合作; 

 

   通过边缘计算参考架构牵引构建开放的边缘计算软硬件平台,支撑测试床和商业案例部署,以最佳实践加速产业发展; 

 

   通过部署测试床与商业案例验证关键技术、参考架构和软硬件平台,并进一步识别差距和问题点,作为关键需求导入后续优化,持续迭代改进,拓展商业应用的广度和深度。 

关注公众号,转发后---并扫描下图二维码添加微信【免费】获取PDF

往期回顾

5G技术

边缘计算技术

【全文】5G承载需求

5G承载光模块

LTE-V2X安全技术

MEC与C-V2X融合应用场景

【153页】2019中国5G产业市场研究报告

【95页】第44次中国互联网发展状况统计报告

【48页】2019中国机器人产业发展报告

【25页】5G室分共享产品及技术方案创新研发

【51页】【2019】人工智能数据安全白皮书

【80页】2019年-工业大数据分析指南

【274页】2019年中国物联网产业全景图报告

【191页】回顾2018年全球AI报告【中英文版】

【81页】2019中国智能城市发展战略与策略研究报告

【31页】2019-2020中国人工智能计算力发展评估报告

【43页】【2019】5G云化虚拟现实白皮书

【59页】中国5G产业发展与投资报告

【78页】2019年 可信区块链推进计划报告

【重磅99页/附下载】5G移动通信系统与技术

【61页】2019中国数据智能行业报告

【67页/附下载】2019年5G时代智慧医疗健康白皮书

【114页/附下载】5G元年,电子行业迎来新时代-5G+AI系列研究

【2019年】中国AI+安防行业发展研究报告

【33页/附下载】5G多媒体网络切片 商业白皮书

5G助力物流智能化转型

【107页/附下载】AI与机器人的42个大问题

【102页/附下载】人工智能标准化白皮书


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存